无需数据标注！测试时强化学习，模型数学能力暴增 | 清华&上海AI Lab
无需数据标注！测试时强化学习，模型数学能力暴增 | 清华&上海AI Lab无需数据标注，在测试时做强化学习，模型数学能力暴增159%！
来自主题: AI技术研报
7841 点击 2025-04-24 16:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
无需数据标注，在测试时做强化学习，模型数学能力暴增159%！
现在下场做 AI 产品的创业者越来越多，但创业总归是“九死一生”的艰难旅途，我更关心的是，有没有一些有迹可循的办法，能提高成功率？上周，我和一位非典型 AI 创业者——米可世界 AI Lab 的负责人 Simon 聊了一次天，聊出了很多在 AI 创业的宏大叙事中没有的“大实话”，也获得了不少启发。
虽然扩散模型在视频生成领域展现出了卓越的性能，但是视频扩散模型通常需要大量的推理步骤对高斯噪声进行去噪才能生成一个视频。这个过程既耗时又耗计算资源。例如，HunyuanVideo [1] 需要 3234 秒才能在单张 A100 上生成 5 秒、720×1280、24fps 的视频。
随着 OpenAI o1 和 DeepSeek R1 的爆火，大语言模型（LLM）的推理能力增强和测试时扩展（TTS）受到广泛关注。然而，在复杂推理问题中，如何精准评估模型每一步回答的质量，仍然是一个亟待解决的难题。传统的过程奖励模型（PRM）虽能验证推理步骤，但受限于标量评分机制，难以捕捉深层逻辑错误，且其判别式建模方式限制了测试时的拓展能力。
仅用4090就能实现大规模城市场景重建！
最近，像 OpenAI o1/o3、DeepSeek-R1 这样的大型推理模型（Large Reasoning Models，LRMs）通过加长「思考链」（Chain-of-Thought，CoT）在推理任务上表现惊艳。
近来风头正盛的GPT-4.5，不仅在日常问答中展现出惊人的上下文连贯性，在设计、咨询等需要高度创造力的任务中也大放异彩。
低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。
近一年以来，AI 视频生成技术发展迅猛。自 2024 年初 Sora 问世后，大家惊喜地发现：原来 AI 可以生成如此逼真的视频，一时间各大高校实验室、互联网巨头 AI Lab 以及创业公司纷纷入局视频生成领域。
在拾象团队的 2025 的 AI 关键预测中，我们提到：随着 Agent 时代到来，OS 才是 LLM 厂商们最高的护城河，从 computer use 到 MCP，Anthropic 构建 OS 的决心是 AI labs 中最强、最明显的。